在过去的几年中，霍克斯流程的在线学习受到了越来越多的关注，尤其是用于建模演员网络。但是，这些作品通常会模拟事件或参与者的潜在群集之间的丰富相互作用，或者是参与者之间的网络结构。我们建议对参与者网络的潜在结构进行建模，以及在现实世界中的医疗和财务应用环境中进行的丰富互动。合成和现实世界数据的实验结果展示了我们方法的功效。

A number of competing hypotheses have been proposed to explain why small-batch Stochastic Gradient Descent (SGD)leads to improved generalization over the full-batch regime, with recent work crediting the implicit regularization of various quantities throughout training. However, to date, empirical evidence assessing the explanatory power of these hypotheses is lacking. In this paper, we conduct an extensive empirical evaluation, focusing on the ability of various theorized mechanisms to close the small-to-large batch generalization gap. Additionally, we characterize how the quantities that SGD has been claimed to (implicitly) regularize change over the course of training. By using micro-batches, i.e. disjoint smaller subsets of each mini-batch, we empirically show that explicitly penalizing the gradient norm or the Fisher Information Matrix trace, averaged over micro-batches, in the large-batch regime recovers small-batch SGD generalization, whereas Jacobian-based regularizations fail to do so. This generalization performance is shown to often be correlated with how well the regularized model's gradient norms resemble those of small-batch SGD. We additionally show that this behavior breaks down as the micro-batch size approaches the batch size. Finally, we note that in this line of inquiry, positive experimental findings on CIFAR10 are often reversed on other datasets like CIFAR100, highlighting the need to test hypotheses on a wider collection of datasets.

某些培训干预措施（例如提高学习率和应用批归归式化）的机制提高了深网的概括仍然是一个谜。先前的作品猜测，“扁平”解决方案比“更清晰”的解决方案更好地概括了看不见的数据，激发了几个指标来测量平坦度（尤其是损失Hessian最大的特征值）；和算法，例如清晰度最小化（SAM）[1]，它们直接优化了平坦度。其他作品质疑$ \ lambda_ {max} $与概括之间的链接。在本文中，我们提出了调用$ \ lambda_ {max} $对概括的影响的发现。我们表明：（1）虽然较大的学习率减少了所有批量尺寸的$ \ lambda_ {max} $，但概括益处有时会在较大的批量尺寸下消失； （2）通过同时缩放批量的大小和学习率，我们可以更改$ \ lambda_ {max} $，而不会影响概括； （3）虽然SAM生产较小的$ \ lambda_ {max} $，用于所有批次尺寸，概括益处（也）消失，较大的批量尺寸； （4）对于辍学，过高的辍学概率可能会降低概括，即使它们促进了较小的$ \ lambda_ {max} $； （5）虽然批处理范围并未始终产生较小的$ \ lambda_ {max} $，但它仍然赋予概括性优势。尽管我们的实验肯定了大型学习率和SAM对Minibatch SGD的概括优势，但GD-SGD差异证明了对$ \ lambda_ {Max} $解释神经网络中概括的能力的限制。

Foundation Models (FMs) are models trained on large corpora of data that, at very large scale, can generalize to new tasks without any task-specific finetuning. As these models continue to grow in size, innovations continue to push the boundaries of what these models can do on language and image tasks. This paper aims to understand an underexplored area of FMs: classical data tasks like cleaning and integration. As a proof-of-concept, we cast five data cleaning and integration tasks as prompting tasks and evaluate the performance of FMs on these tasks. We find that large FMs generalize and achieve SoTA performance on data cleaning and integration tasks, even though they are not trained for these data tasks. We identify specific research challenges and opportunities that these models present, including challenges with private and domain specific data, and opportunities to make data management systems more accessible to non-experts. We make our code and experiments publicly available at: https://github.com/HazyResearch/fm_data_tasks.

哺乳动物胚胎在正确发育时间的偏振对于其开发至关重要，并且在评估人胚胎的潜力方面是有价值的。然而，跟踪极化需要侵入性荧光染色，在体外施肥诊所中不允许。在这里，我们报告使用人工智能来检测从未染色的小鼠胚胎的延时电影的极化。我们从8个细胞级胚胎，并排组装了一个明亮场电影框架的数据集，并排使用相应的细胞偏振的荧光标记图像。然后，我们使用了一个集合学习模型来检测是否在偏振之前或之后显示任何明亮场框架。我们所产生的模型的准确性为85％，用于检测极化，显着优于培训的人类志愿者，在相同的数据上培训（61％的精度）。我们发现我们的自学习模型专注于电池之间的角度，作为一个已知的压实提示，其在极化之前，但它独立地优于使用该提示。通过将三维时间失效的图像数据压缩为二维，我们能够将数据减少到易于管理的大小以获得深度学习处理。总之，我们描述了一种检测胚胎发育的关键发育特征的方法，避免临床不允许的荧光染色。

AI正在经历范式转变，随着模型的兴起（例如Bert，Dall-E，GPT-3），这些模型经过大规模的数据训练，并且可以适应广泛的下游任务。我们称这些模型基础模型来强调其至关重要但不完整的特征。该报告提供了基础模型的机会和风险的详尽说明，包括其功能（例如语言，愿景，机器人技术，推理，人类互动）和技术原则（例如，模型架构，培训程序，数据，系统，安全，安全性，评估，理论）对其应用（例如法律，医疗保健，教育）和社会影响（例如不平等，滥用，经济和环境影响，法律和道德考虑）。尽管基础模型基于标准的深度学习和转移学习，但它们的规模导致了新的新兴能力，以及它们在许多任务中的有效性都激发了同质化。同质化提供了强大的杠杆作用，但要求谨慎，因为基础模型的缺陷均由下游的所有适应模型继承。尽管即将广泛地部署基础模型，但我们目前对它们的工作方式，失败以及由于其新兴属性的影响而缺乏清晰的了解。为了解决这些问题，我们认为基础模型的许多批判性研究都需要与他们的基本社会技术性质相称。